From Plans to Pixels: Learning to Plan and Orchestrate for Open-Ended Image Editing
从计划到像素:学习规划与编排以实现开放式图像编辑
🧭 多模态图像编辑 · 奖励驱动的规划编排
通过基于奖励的规划-执行耦合,让模型自主学会分解并执行抽象多步编辑指令
📌 工作参考价值(4 点)
- 电商商品图自动化:可将“让图片更吸引素食者”这类抽象指令自动分解为替换肉类、添加植物元素、调整色调等子任务,并选择适当的修图工具(如背景移除、目标替换)逐步执行。
- RL + VL 判官范式:借鉴用视觉语言模型(如 CLIP)作为奖励函数的做法,在创意生成、广告设计等场景中,将人类偏好量化为 VL 相似度或文本对齐分数,训练执行策略。
- 规划器与执行器解耦:规划器(生成步骤序列)与执行器(选择区域和工具)分离,可利用历史成功轨迹微调规划器,实现迭代改进;在电商多步素材生成中可类似分离“构思步骤”与“执行修图”。
- 从演示学习转向体验学习:避免手工规则或模仿教师,直接根据最终图像质量反馈来优化编排策略,这一思路可迁移到其他 Agent 系统,如对话式商品推荐中的多轮交互规划。